In de tweede helft van de 14de eeuw is er voor het eerst sprake van het kasteel van Wilder dat feodaal verbonden was met Heverlee. Het werd in 1578 verwoest door Spaanse troepen. Rond 1620 werd een nieuw L-vormig kasteel gebouwd op de funderingen van het 14de eeuwse kasteel.
In 1629 kwam het goed, via huwelijk, in handen van de familie Cruyckenburg die het behield tot het einde van het Ancien Régime. De fraaie Wilderdreef, in 1687 aangelegd door graaf de Cruyckenburg, verbindt het Wilderkasteel met het heden verdwenen kasteel van Ruisbeek.
Het 17de eeuwse waterkasteel uit 1620 werd in 1823 afgebroken en vervangen door een sober, witgepleisterd, neoclassicistisch kasteel dat we nu kennen. Een groot gedeelte van de funderingen van het oude kasteel werden daarbij hergebruikt. 
Omringd door een ruim park met enkele zeldzame oude boomsoorten wordt het momenteel bewoond door de familie de Broqueville. De oude hoeve op het domein werd sinds 1990 omgevormd tot secretariaat, cafetaria en de nodige lokalen voor de uitbating van het golfterrein van ongeveer 50 ha groot.